Archive - Home

2026

9 posts

Cautious Optimizers: 「たった1行の修正」でAdamを高速化するC-AdamWの衝撃

#Machine Learning #Optimization #C-AdamW #Adam #Deep Learning #Algorithm

Lion: AIが自ら発見した「単純ゆえに最強」のオプティマイザ

#Machine Learning #Optimization #Lion #AutoML #Deep Learning #Algorithm

Adam: 適応的モーメント推定に基づく確率的最適化手法の理論的構造と実証的評価

#Machine Learning #Optimization #Adam #Deep Learning #Algorithm

Eve: 目的関数の変動情報をフィードバックする適応的勾配降下法の拡張

#Machine Learning #Optimization #Eve #Adam #Deep Learning #Algorithm

勾配降下法に基づく最適化アルゴリズムの数理的構造と収束特性に関する包括的レビュー

#Machine Learning #Optimization #Gradient Descent #Numerical Analysis #Deep Learning #Adam #SGD

RAdam: 学習率の分散を「整流」する、Warmup不要のAdam進化形

#Machine Learning #Optimization #RAdam #Adam #Deep Learning #Algorithm

Schedule-Free Learning: 学習率スケジュールからの解放と最適化の新地平

#Machine Learning #Optimization #Schedule-Free #Deep Learning #Algorithm

YellowFin: 運動量項の自動チューニングによるMomentum SGDのロバスト化

#Machine Learning #Optimization #YellowFin #Momentum #Deep Learning

AdaBelief: 勾配への「確信度」で歩幅を変える、AdamとSGDのいいとこ取り

#Machine Learning #Optimization #AdaBelief #Adam #Deep Learning #Algorithm